MikeCaptain

人工智能 LLM 革命前夜：一文读懂横扫自然语言处理的 Transformer 模型

基于 RNN 的 Encoder-Decoder 模型存在无法处理过长文本、并行性差的两大痛点。2015 年 Bahdanau 等人在其论文中提出 Attention 机制，再到 2017 年 Transformer 模型的论文《Attention is All You Need》横空出世，其并行速度极快，而且每两个词之间的词间距都是 1。此后 NLP 领域 Transformer 彻底成为主流。如果你已经了解 Encoder-Decoder 模型，本文将基于此带你深入浅出的搞清楚 Attention、Transformer。

三万字长文！LSTM 之父 Jürgen 带我们回顾深度学习发展史

本文译自 LSTM 作者 Jürgen Schmidhuber，全文主要由 AI 翻译生成，麦克船长进行部分校对，这篇超长文章为了串联起了深度学习领域的大事件，以及那些引领我们的优秀科学家们。

当下生成式 AI（AIGC）领域的应用图景

随着 ChatGPT 和 DALL-E 的发布，2022 年社交媒体平台上最热门的话题之一在最近几周爆发，引发了关于其对全球人员、职业和行业影响的激烈辩论。 争议的核心是什么？ 生成式 AI (Gen-AI)——可以快速创建新内容的系统，例如大学论文、歌曲和数字艺术作品。 这些能力令人印象深刻，但它们也引发了关于工作的未来以及人类在 AI 主导的世界中的作用的重要问题。 随着生成式人工智能的不断发展，考虑伦理意义和对社会的潜在影响将变得至关重要。 如果创造性工作在很大程度上被人工智能机器取代，会发生什么？

游戏生产力革命：生成式 AI（AIGC）正在深度变革游戏领域

2022 年是生成式 AI（Gen-AI）的元年，而游戏领域也正在被生成式 AI 进行着生产力革命。当下游戏 2D 素材、3D 建模、音频内容、实时生成智能语音交互 …… 等等一系列技术在游戏世界里率先应用，正在推动一个让玩家更可以全方位实时交互的游戏世界的诞生，而不再像以前一样只能依赖以往设定好的游戏交互内容，这令人感到无比兴奋。而这些技术在虚拟世界成熟后，将会逐渐渗透回现实世界中的各项应用，尤其是创作者生态的生产力变革，更进一步地影响普通人日常的内容获取与 AI 交互。

【摘录】通向 AGI 之路：大型语言模型（LLM）技术精要

自然语言处理 AIGC 近年的发展脉络、关键论文、技术里程碑和商业应用

火出圈的 ChatGPT，背后是自然语言处理领域近几年发展的成果。本文从近几年自然语言处理的关键发展脉络，过程中关键的几篇学术论文，这几年的所有重要行业里程碑，以及目前为止业内已经诞生的应用。

你可能已经听说 GPT-3，但是你也不能不知道 BERT —— 跟我一起用 BERT 跑个小用例

2018 年 Google 发布了 BERT 模型后迅速席卷 NLP 领域，这家伙可是比 ChatGPT 背后的 GPT 还要早的。本文简单介绍了 BERT 后主要是希望大家都手试一下，所以文中提到了一个小的中文模型供大家练手，以及一个小用例。

动动手，让你和你的朋友们，在微信上跟 ChatGPT 聊聊天

最近 OpenAI 的 ChatGPT 非常地出圈，ChatGPT 是一个由 OpenAI 训练的大型语言模型，被设计用来回答用户的问题并提供信息。官方的 Slogan 是「Optimizing Language Models for Dialogue」，所以非常适合做到 IM 里聊天。那么我在想如果用一个微信号，背后是 ChatGPT，是不是很有趣？正当我准备利用 WeChaty 开发一个服务端程序来连接 ChatGPT 时，发现目前 Github 上已经有人做了，刚好可以省去很多工程的工作 ……

确实惊艳！用 MidJourney 三分钟生成了两张 CG 级高清机甲特写

因为 Diffusion 模型在计算机视觉领域的发展，可以说今年人工智能在计算机视觉领域大放异彩，各种 Text2Image 项目层出不穷，花了三分钟时间做了一组机甲图，确实非常惊艳 ……

不要船开远了，就忘了为什么启航

2020 年的 6 月 4 日我入职阿里巴巴集团，7 天后的 6 月 11 日我写下了这篇文章。偶然翻到了当时这篇文章，遂转录于此，提醒自己勿忘初心。在不涉及到公司数据安全及商业机密问题的前提下，稍做了一些删改，发布在这里作为一个回顾。本次穿插了一些图片，当时写的时候还没有这些照片。本文内容包括：很多人是带着梦想来阿里的，那么我的梦想是什么呢？最喜欢新六脉的哪句话？为什么？关于阿里企业价值观：为什么要接受这套价值观？价值观的本质意义（极度务实视角）是什么？Landing 的 SOP；问问自己，来到阿里，如果初期我可能需要做一点改变，那会是什么？

又是一年 Birthday！

Pathways 语言模型 (PaLM)：扩展到 5400 亿个参数以获得突破性性能

近年来，为语言理解和生成而训练的大型神经网络在广泛的任务中取得了令人瞩目的成果。 GPT-3 首先展示了大型语言模型 (LLM) 可用于少样本学习，无需大规模任务特定数据收集或模型参数更新即可取得令人印象深刻的结果。 最近的 LLM，例如 GLaM、LaMDA、Gopher 和 Megatron-Turing NLG，通过缩放模型大小、使用稀疏激活模块以及在来自更多数据集的更大数据集上进行训练，在许多任务上取得了最先进的小样本结果。 来源多样。 然而，在我们推动模型规模的极限时，要理解小样本学习所出现的能力，还有很多工作要做 ……

麦克船长的 Jekyll 快速教程

Jekyll 是一个用 Ruby 实现的、使用 Liquid 模板引擎的静态网站生成器，它可以通过 Markdown 或者 HTML 等文件生成完整的静态网站。它特别适用于博客或者文章类的网站，因为可以自动生成博客的首页、分类页、标签页等等。因为使用 Liquid 引擎所以能在页面中使用变量、循环、条件语句等等，非常方便。虽然基于 Ruby 实现但使用起来并不需要掌握 Ruby，只需要了解一些基本的语法即可 ……

如何使用 Jekyll 基于 Github Pages 搭建个人博客

GitHub Pages 是 GitHub 提供的免费托管静态网站的服务。使用 GitHub Pages 搭建博客，然后使用 Jekyll 生成的静态网站文件上传到该仓库。花 10 分钟时间，通过本文让你快速地实现了一个免费、简单、快速、安全、支持版本控制、支持自定义域名的独立域名博客 ……

欢迎成为「淘宝-天天特卖」团队的创业合伙人！

阿里内部创业项目「天天特卖」招合伙人啦！以「特卖合伙人」为基石的、以「使众人行」的战友感为人才基本要求、以「用人做事，而非做事用人」为人才建设核心，是天天特卖团队的组织管理理念。天天特卖期待你的加入！

麦克船长的阿里一年香（入职阿里一周年）

本文记录了麦克船长来到阿里巴巴集团整整一年时，麦克船长的主管给的寄语。考虑到公司商业敏感问题，做了一定的删节。现记录于此，用于以后的回顾。

担任淘宝产品总负责人的双十一，是怎样的体验？

本文记录了一些影像，是关于麦克船长来到阿里巴巴集团的第一个双十一，负责担任淘宝的总PD（产品总负责人）。一年一度的双十一成了淘宝，乃至整个阿里集团的传统，就像阿里这家公司的春节过年一样，气氛热烈，而且消费者和商家朋友们也都会跟我们一同迎来一次购物与销售的狂欢。

疫后怎么做餐饮品牌？三叉戟模式或成标配

2020 新型冠状病毒疫情，给所有商业领域都带来了巨大影响，而餐饮业可以说是首当其冲，但这同时也带来了很多多元化经营的启示。我们回归原点，餐饮业解决了我们什么需求？吃饭。但是当我们不选择去饭店就餐时，我们如何解决吃饭问题 ……

延迟满足，才有自由

今天我们来聊聊延迟满足（Delayed Gratification）和即时满足（Instant Gratification）。面对不同的「对手」，我们要做到不同深度的延迟满足。而延迟满足的驻留时间，则量化了我们在相应深度上的延迟满足能力。有意培养，刻意练习，用延迟满足来帮助自我成长，是一个长期课题，我也在路上 ……

design | 礼狮™ LISMIS™ 巧可宝 Chocobble [12P]

产品：礼狮™ LISMIS™ 巧可宝 Chocobble 产地：希腊 麦克船长负责产品研发、总体设计（品牌/VI/包装/视觉）